طراحی و کاربرد روش سنجش انطباقی کامپیوتری برای اجرای آزمون تولیمو در سازمان سنجش آموزش کشور

سنجش مهارت زبان انگلیسی در ارزیابی‌های خطیر به تعداد زیادی پرسش برای آزمون‌هایی به‌شیوه‌ مداد-کاغذی (P&P) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون‌های سرنوشت‌ساز شرکت می‌کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (CAT) به‌عنوان گزینه‌ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. CAT برخلاف آزمون‌های سنتی P&P که توالی گزینش پرسش‌ها در آن ثابت و یکنواخت است، از یک شیوه‌ گزینش سؤال بهینه و انطباقی استفاده می‌کند. CAT، برآورد توانایی موقت را به‌طور بهینه مورد هدف قرار می‌دهد و به یک ملاک همگرایی مناسب برای برآورد توانایی می‌رسد و در نتیجه، به یک فرایند سنجش کوتاه‌تر، قابل اطمینان‌تر و کارآمدتر می‌رسد. مورد مطالعه مهارت زبان انگلیسی در مطالعه حاضر، آزمون تولیمو است. این پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه‌ای از اجراهای مداد-کاغذی آزمون تولیمو (دوره‌ 114 تا 123)، انتخاب و سپس، سؤال‌ها و توانایی آزمودنی‌ها مدرج‌سازی شد. در مرحله‌ دوم، CATهای بهینه شبیه‌سازی شده به‌عنوان مبنایی برای ارزیابی صحت و کارایی CAT عملیاتی طراحی شدند. نتایج پژوهش نشان داد که برآورد پارامتر توانایی به روش بیشینه‌ درست‌نمایی و ملاک توقف طول ثابت، بیشترین دقت در برآورد پارامتر توانایی آزمودنی‌ها را ایجاد می‌کنند. همچنین، آزمون CAT تولیمو که بر اساس خزانه‌ سؤال بهینه شبیه‌سازی‌شدند، نسبت به CAT عملیاتی که بر اساس خزانه‌ سؤال موجود طراحی شده‌ است، به سؤال‌های کمتری نیاز دارد، درحالی‌که به نتایج دقیق‌تری نسبت به CAT عملیاتی در برآورد پارامتر توانایی منجر می‌شود. بنابراین، باوجود مناسب بودن سؤال‌های موجود در خزانه‌ سؤال مدرج‌سازی شده آزمون تولیمو، طراحی سؤال‌هایی برای هدف اجرای آزمون به شیوه‌ CAT، هم به‌صرفه‌تر است و هم دقیق‌تر پارامتر توانایی را برآورد می‌کند. همچنین، نتایج این مطالعه نشان داد که آزمون تولیمو هم به شیوه‌ CAT شبیه‌سازی شده و CAT عملیاتی طراحی ‌شده به شکلی کارآتر و دقیق‌تر نسبت به تولیمو مداد-کاغذی عمل می‌کند. یافته‌های این پژوهش، نشان می‌دهد که آزمون CAT تولیمو دارای پتانسیل بالایی در کارایی و دقت اندازه‌گیری توانایی زبان انگلیسی است.